مقایسه دقت برآورد توانایی در سوالات چندگزینه ای با بکارگیری مدلهای سوال- پاسخ دو و چندارزشی

مدلهای چندارزشیirt، برخلاف مدل کلاسیک اندازه گیری و مدلهای دوارزشی،از این قابلیت برخوردارند که در قدرسنجی سوالات و آزمودنیها در آزمونهای توانایی متشکل از سوالات چندگزینه ای، برای گزینه های پاسخ، بیش از دو ارزش در نظر بگیرند و لذا مدعی هستند که با مورد توجه قرار دادن اطلاعات موجود در گزینه های پاسخ نادرست میتوانند ارزشهای متفاوتی برای آنها درنظر بگیرند و بدین وسیله موجب افزایش دقت برآورد توانایی آزمودنی ها گردند. رسالت اصلی این پژوهش در واقع معرفی و بکارگیری یکی از جامعترین مدلهای چند ارزشی irt(مدل پاسخ اسمی) بعنوان یک روش دقیقتر برآورد پارامترهای سوال و توانایی در سوالات چندگزینه ای در مقایسه با مدلهای دوارزشی irtاست. برای این منظور، داده های سوال-پاسخ یک نمونه تصادفی به حجم2000 نفر از میان جامعه پاسخدهندگان(68405 نفر)به سوالات خرده-آزمون50 سوالی زیستشناسی کنکور سراسری رشته علوم تجربی سال تحصیلی 85-84، انتخاب شد. همچنین مدل پاسخ اسمی(nrm) که تنها مدل زیرساختی مناسب جهت تحلیل پاسخهای اسمی(نظیر پاسخ سوالات چندگزینه ای در اغلب آزمونهای پیشرفت تحصیلی) میباشد، با توجه به ویژگیهای ساختاری آن و با عنایت به نتایج حاصل از برخی پژوهش های پیشین، بعنوان مدل چند ارزشی مناسب برای داده های سوال- پاسخ این پژوهش، درنظر گرفته شد. پس از بررسی شاخصهای توصیفی سوالات خرده-آزمون مذکور(با بکارگیری مدل کلاسیک اندازه گیری)، از میان آنها 12سوال که از شاخصهای توصیفی ضعیفتری(ضریب تشخیص و همبستگی سوال-آزمون بسیار پایین) برخوردار بودند و بتبع آن عدم برقراری یکی از مفروضه های اساسیirt مبنی بر تک بعدی بودن مجموعه سوالات را موجب میشدند، کنار گذاشته شد و38سوال باقیمانده، پس از اطمینان یافتن از برقراری مفروضات، توسط نرم افزار multilog مورد تحلیل قرار گرفت. نتایج حاصل از برازاندن مدل های دو ارزشی 1،2و3پارامتری بر داده های سوال- پاسخ مذکور نشان داد، مدل دو پارامتری که از نظر ساختار پارامتری در میان مدلهای دو ارزشی، نزدیکترین مدل بهnrmاست،در این میان از برازندگی بهتری با داده های فوق-الذکر برخوردار است و لذا این مدل بعنوان مدل دوارزشی مناسب جهت مقایسه دقت برآورد توانایی با مدل چندارزشی برگزیده(nrm)انتخاب شد. بمنظور برازاندن این دو مدل بر داده های سوال- پاسخ، مجموع تفاضل نسبت احتمال مشاهده شده و مورد انتظار گزینه های پاسخ هر یک از سوالات در هر دو مدل، محاسبه شد و6سوال که با در نظر گرفتن معیار فوق، برازش کمتری برای آنها محتمل بود،حذف شدند و در نهایت، همگرایی مورد نظر برای مجموعه32سوال برگزیده حاصل شد. پس از برآورد پارامترهای سوال و میزان آگاهی دهندگی هر سوال(و مجموع سوالات)در سطوح مختلف توانایی و برآورد پارامتر توانایی هریک از آزمودنی ها در هر دو مدل، بمنظور مقایسه دقت برآورد توانایی افراد، کارایی نسبی این دو مدل در سطوح مختلف توانایی با توجه به شرایط ویژه هر یک از سوالات پژوهش، محاسبه شد و مورد بررسی و مقایسه قرار گرفت. نتایج این بررسیها حاکی از برتری دقت برآورد توانایی nrm در غالب سطوح توانایی، در مقایسه با 2pl میباشد و همانگونه که انتظار میرود، برای آزمودنیهایی که از سطح توانایی پایینتری برخوردارند و همچنین در سوالات دشوارتر، برتری دقت برآورد توانایی پاسخدهندگان در مدل پاسخ اسمی نسبت به مدل دو پارامتری، بیشتر مشهود است. لذا میتوان بمنظور افزایش دقت برآورد توانایی آزمودنیها در آزمونهایی با شرایط مشابه، بکارگیری nrm را با درنظر گرفتن برخی ملاحظات، توصیه نمود. بویژه در شرایطیکه اکثر آزمودنیها از سطح توانایی نسبتاً پایینی برخوردارند واز طرف دیگر، مقتضیات خاص آزمون استفاده از سوالات نسبتاً دشوار را ایجاب نماید.